Effects of Different Display Form Factors on InfoVis Applications: Exploring Selection Management and Brushing and Linking for Mobile Cross-Device Interaction

Diese Arbeit untersucht wie man mit mehreren, miteinander koordinierten Mobilgeräten Selektionen verwalten und Brushing und Linking unterstützen kann. Im Rahmen der Arbeit wird ein konzeptionelles Framework zur Selektionsverwaltung für mehrere Geräte angedacht und ein Konzept zur Selektionsverwaltung vorstellt, das Brushing und Linking für Mobilgeräte unterstützt. Des Weiteren werden Ziele für den Prototypen erörtert, die zur Umsetzung das Konzept beitragen. Mobile Geräte werden immer häufiger für Informationsvisualisierungen verwendet. Jedoch wurde bisher noch nicht untersucht, wie gängige Interaktionstechniken, wie Brushing und Linking, für diese Geräte anpassen werden müssen. Während des Brushings, werden zusätzlich Selektionen erstellt, für die es bislang keine Art der Verwaltung für Mobilgeräte gibt. In dieser Arbeit wird untersucht wie man Brushing und Linking mit mehreren Mobilgeräten unterstützen kann und Selektionen gleichzeitig verwalten kann.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 ConclusionThis thesis examines how to manage selections and use brushing and linking with multiple coordinated mobile devices. We discuss thoughts for a conceptual framework for selection management in multi-device environments. We then present a concept for managing selections and supporting brushing and linking for co-located mobile devices. Finally, we are providing an overview of and the goals for our proof-of-concept prototype. More and more mobile devices are used for visualization. However, it is still an open question how to adjust common interaction techniques, such as brushing and linking, for mobile devices. Furthermore, it has not been addressed how to manage the selections that are created through brushing. We explore how brushing and linking can be used in a setting with multiple, co-located mobile devices and how to manage its selections.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 Conclusio

Entwurf und Implementierung eines parametrisierten Whole-Body-Gestensets für humanoide Roboter zur dynamischen Feedback-Gestaltung

Diese Arbeit untersucht auf Basis der aktuellen Forschung Möglichkeiten, die Interaktion mit humanoiden Robotern variabler und somit attraktiver zu gestalten. Hierzu werden Möglichkeiten betrachtet, Emotionen und Absichten dynamisch mittels parametrisierter Gesten auszudrücken. Zunächst werden Gesten und mögliche Parameter analysiert, die zur Generierung eines Whole-Body-Gestensets notwendig sind, um anschließend diese auf Grund ihrer Auswirkungen auf die Gestenphasen in Intra- und Interphasenparameter zu unterteilen. Dadurch werden die innere und äußere Expressivität einer Geste definiert, die zur Bildung der Single Gesture Expression und der Multi Gesture Expression führen. Diese stellen das Steigerungspotential von Gesten beziehungsweise Absichten dar. Gesten werden anschließend nach Feedback-Arten untergliedert und in Abhängigkeit der Expressivität miteinander in Beziehung gesetzt. Somit entsteht ein Gestenset, das durch die Parameter „Feedback-Art“ und „Expressivität“ bestimmt wird. Besagtes Gestenset wurde daraufhin zur Verwendung durch den humanoiden Roboter Nao innerhalb der Entwicklungsumgebung Choregraphe umgesetzt. Zudem wurde eine Verhaltensbibliothek entwickelt, die sämtliche, implementierte Gesten zur Wiederverwendung enthält. Als Ergebnis entstand ein parametrisiertes Gestenset in Theorie und Praxis, das für die ausdrucksstarke Verwendung durch einen humanoiden Roboter geeignet ist und die Kommunikation und Interaktion zwischen Mensch und Roboter erweitert, verfeinert und verbessert.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 83This work investigates the possibilities of developing a more variable, and thus attractive, interaction with humanoid robots based on current research. For this purpose possibilities of dynamically expressing emotions and intentions associated with parametrised gestures are contemplated. First, gestures and possible parameters, which are necessary for the generation of a whole-body gesture set, are analysed. Afterwards, these are classified into intraphaseparameters and interphase-parameters depending on their impact on gesture phases. A gesture’s inner and outer expressivity are thereby defined which leads to the establishment of the single gesture expression and the multi gesture expression. These constitute the gesture’s and the intention’s potential for increase. Gestures are subsequently classified by feedback types and are related depending on their expressivity. Hence, a gesture set which is defined by the parameters “feedback type” and “expressivity” is developed. As a result, the aforementioned gesture set has been implemented with the development environment Choregraphe to be used by humanoid robots. Additionally a behaviour library is generated for reusability which contains every implemented gesture. The result reveals a parametrised gesture set in theory and practice which is suitable to be expressively used by a humanoid robot and enhances, refines and improves the human-robot-interaction.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 8

Visual Analysis of Hyperproperties for Understanding Model Checking Results

Model checkers provide algorithms for proving that a mathematical model of a system satisfies a given specification. In case of a violation, a counterexample that shows the erroneous behavior is returned. Understanding these counterexamples is challenging, especially for hyperproperty specifications, i.e., specifications that relate multiple executions of a system to each other. We aim to facilitate the visual analysis of such counterexamples through our HYPERVIS tool, which provides interactive visualizations of the given model, specification, and counterexample. Within an iterative and interdisciplinary design process, we developed visualization solutions that can effectively communicate the core aspects of the model checking result. Specifically, we introduce graphical representations of binary values for improving pattern recognition, color encoding for better indicating related aspects, visually enhanced textual descriptions, as well as extensive cross-view highlighting mechanisms. Further, through an underlying causal analysis of the counterexample, we are also able to identify values that contributed to the violation and use this knowledge for both improved encoding and highlighting. Finally, the analyst can modify both the specification of the hyperproperty and the system directly within HYPERVIS and initiate the model checking of the new version. In combination, these features notably support the analyst in understanding the error leading to the counterexample as well as iterating the provided system and specification. We ran multiple case studies with HYPERVIS and tested it with domain experts in qualitative feedback sessions. The participants’ positive feedback confirms the considerable improvement over the manual, text-based status quo and the value of the tool for explaining hyperproperties

Effects of Different Display Form Factors on InfoVis Applications: Exploring Selection Management and Brushing and Linking for Mobile Cross-Device Interaction

Diese Arbeit untersucht wie man mit mehreren, miteinander koordinierten Mobilgeräten Selektionen verwalten und Brushing und Linking unterstützen kann. Im Rahmen der Arbeit wird ein konzeptionelles Framework zur Selektionsverwaltung für mehrere Geräte angedacht und ein Konzept zur Selektionsverwaltung vorstellt, das Brushing und Linking für Mobilgeräte unterstützt. Des Weiteren werden Ziele für den Prototypen erörtert, die zur Umsetzung das Konzept beitragen. Mobile Geräte werden immer häufiger für Informationsvisualisierungen verwendet. Jedoch wurde bisher noch nicht untersucht, wie gängige Interaktionstechniken, wie Brushing und Linking, für diese Geräte anpassen werden müssen. Während des Brushings, werden zusätzlich Selektionen erstellt, für die es bislang keine Art der Verwaltung für Mobilgeräte gibt. In dieser Arbeit wird untersucht wie man Brushing und Linking mit mehreren Mobilgeräten unterstützen kann und Selektionen gleichzeitig verwalten kann.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 ConclusionThis thesis examines how to manage selections and use brushing and linking with multiple coordinated mobile devices. We discuss thoughts for a conceptual framework for selection management in multi-device environments. We then present a concept for managing selections and supporting brushing and linking for co-located mobile devices. Finally, we are providing an overview of and the goals for our proof-of-concept prototype. More and more mobile devices are used for visualization. However, it is still an open question how to adjust common interaction techniques, such as brushing and linking, for mobile devices. Furthermore, it has not been addressed how to manage the selections that are created through brushing. We explore how brushing and linking can be used in a setting with multiple, co-located mobile devices and how to manage its selections.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 Conclusio

Entwurf und Implementierung eines parametrisierten Whole-Body-Gestensets für humanoide Roboter zur dynamischen Feedback-Gestaltung

Diese Arbeit untersucht auf Basis der aktuellen Forschung Möglichkeiten, die Interaktion mit humanoiden Robotern variabler und somit attraktiver zu gestalten. Hierzu werden Möglichkeiten betrachtet, Emotionen und Absichten dynamisch mittels parametrisierter Gesten auszudrücken. Zunächst werden Gesten und mögliche Parameter analysiert, die zur Generierung eines Whole-Body-Gestensets notwendig sind, um anschließend diese auf Grund ihrer Auswirkungen auf die Gestenphasen in Intra- und Interphasenparameter zu unterteilen. Dadurch werden die innere und äußere Expressivität einer Geste definiert, die zur Bildung der Single Gesture Expression und der Multi Gesture Expression führen. Diese stellen das Steigerungspotential von Gesten beziehungsweise Absichten dar. Gesten werden anschließend nach Feedback-Arten untergliedert und in Abhängigkeit der Expressivität miteinander in Beziehung gesetzt. Somit entsteht ein Gestenset, das durch die Parameter „Feedback-Art“ und „Expressivität“ bestimmt wird. Besagtes Gestenset wurde daraufhin zur Verwendung durch den humanoiden Roboter Nao innerhalb der Entwicklungsumgebung Choregraphe umgesetzt. Zudem wurde eine Verhaltensbibliothek entwickelt, die sämtliche, implementierte Gesten zur Wiederverwendung enthält. Als Ergebnis entstand ein parametrisiertes Gestenset in Theorie und Praxis, das für die ausdrucksstarke Verwendung durch einen humanoiden Roboter geeignet ist und die Kommunikation und Interaktion zwischen Mensch und Roboter erweitert, verfeinert und verbessert.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 83This work investigates the possibilities of developing a more variable, and thus attractive, interaction with humanoid robots based on current research. For this purpose possibilities of dynamically expressing emotions and intentions associated with parametrised gestures are contemplated. First, gestures and possible parameters, which are necessary for the generation of a whole-body gesture set, are analysed. Afterwards, these are classified into intraphaseparameters and interphase-parameters depending on their impact on gesture phases. A gesture’s inner and outer expressivity are thereby defined which leads to the establishment of the single gesture expression and the multi gesture expression. These constitute the gesture’s and the intention’s potential for increase. Gestures are subsequently classified by feedback types and are related depending on their expressivity. Hence, a gesture set which is defined by the parameters “feedback type” and “expressivity” is developed. As a result, the aforementioned gesture set has been implemented with the development environment Choregraphe to be used by humanoid robots. Additionally a behaviour library is generated for reusability which contains every implemented gesture. The result reveals a parametrised gesture set in theory and practice which is suitable to be expressively used by a humanoid robot and enhances, refines and improves the human-robot-interaction.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 8

Entwurf und Implementierung eines parametrisierten Whole-Body-Gestensets für humanoide Roboter zur dynamischen Feedback-Gestaltung

Diese Arbeit untersucht auf Basis der aktuellen Forschung Möglichkeiten, die Interaktion mit humanoiden Robotern variabler und somit attraktiver zu gestalten. Hierzu werden Möglichkeiten betrachtet, Emotionen und Absichten dynamisch mittels parametrisierter Gesten auszudrücken. Zunächst werden Gesten und mögliche Parameter analysiert, die zur Generierung eines Whole-Body-Gestensets notwendig sind, um anschließend diese auf Grund ihrer Auswirkungen auf die Gestenphasen in Intra- und Interphasenparameter zu unterteilen. Dadurch werden die innere und äußere Expressivität einer Geste definiert, die zur Bildung der Single Gesture Expression und der Multi Gesture Expression führen. Diese stellen das Steigerungspotential von Gesten beziehungsweise Absichten dar. Gesten werden anschließend nach Feedback-Arten untergliedert und in Abhängigkeit der Expressivität miteinander in Beziehung gesetzt. Somit entsteht ein Gestenset, das durch die Parameter „Feedback-Art“ und „Expressivität“ bestimmt wird. Besagtes Gestenset wurde daraufhin zur Verwendung durch den humanoiden Roboter Nao innerhalb der Entwicklungsumgebung Choregraphe umgesetzt. Zudem wurde eine Verhaltensbibliothek entwickelt, die sämtliche, implementierte Gesten zur Wiederverwendung enthält. Als Ergebnis entstand ein parametrisiertes Gestenset in Theorie und Praxis, das für die ausdrucksstarke Verwendung durch einen humanoiden Roboter geeignet ist und die Kommunikation und Interaktion zwischen Mensch und Roboter erweitert, verfeinert und verbessert.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 83This work investigates the possibilities of developing a more variable, and thus attractive, interaction with humanoid robots based on current research. For this purpose possibilities of dynamically expressing emotions and intentions associated with parametrised gestures are contemplated. First, gestures and possible parameters, which are necessary for the generation of a whole-body gesture set, are analysed. Afterwards, these are classified into intraphaseparameters and interphase-parameters depending on their impact on gesture phases. A gesture’s inner and outer expressivity are thereby defined which leads to the establishment of the single gesture expression and the multi gesture expression. These constitute the gesture’s and the intention’s potential for increase. Gestures are subsequently classified by feedback types and are related depending on their expressivity. Hence, a gesture set which is defined by the parameters “feedback type” and “expressivity” is developed. As a result, the aforementioned gesture set has been implemented with the development environment Choregraphe to be used by humanoid robots. Additionally a behaviour library is generated for reusability which contains every implemented gesture. The result reveals a parametrised gesture set in theory and practice which is suitable to be expressively used by a humanoid robot and enhances, refines and improves the human-robot-interaction.:1 Einleitung 9 2 Theoretische Hintergründe 11 2.1 Überblick über Gesten 11 2.2 Verwendung von Gesten in der Mensch-Roboter-Interaktion 13 2.2.1 Erkennung von Gesten einer Person durch einen Roboter 13 2.2.2 Verwendung von Gesten durch einen Roboter 15 2.3 Generierung und Parametrisierung von Gesten 17 2.4 Anwendungen von Gesten unter Verwendung des Nao 19 3 Entwurf eines parametrisierten Gestensets 23 3.1 Gestenanalyse 23 3.1.1 Entstehung und Entwicklung von Gesten 23 3.1.2 Analyse alltäglicher Gesten 26 3.1.3 Analyse von Gesten zur Feedback-Gestaltung 29 3.2 Parametrisierung von Gesten 33 3.2.1 Analyse und Bewertung möglicher Parameter 33 3.2.2 Auswahl und Kategorisierung der Parameter 35 3.2.3 Zuordnung der Parametern zu den Gesten 40 3.3 Kategorisierung und Auswahl relevanter Feedback-Gesten 41 3.3.1 Arten des expressiven Ausdrucks 41 3.3.2 Kategorisierung der Gesten anhand von Expressivitätsspannen 43 4 Implementierung des Gestensets für einen humanoiden Roboter 51 4.1 Technische Grundlagen 51 4.2 Grundüberlegungen zur Umsetzung 53 4.2.1 Umsetzung der Gestenerzeugung 53 4.2.2 Umsetzung der Multi Gesture Expression 54 4.3 Implementierung in Choregraphe 56 5 Abschließende Bem 61 5.1 Zusammenfassung 61 5.2 Fazit 62 5.3 Ausblick 63 Literaturverzeichnis 65 Abbildungsverzeichnis 69 Tabellenverzeichnis 71 Anhang 73 A Auswirkungen der Steigerung der Parameter auf die Gesten 73 B Anpassung der Expressivitätsspannen an den Nao und Unterteilung der Gesten in Stufen 79 C Aufbau der implementierten Gestenerzeugung in der Entwicklungsumgebung Choregraphe 8

Effects of Different Display Form Factors on InfoVis Applications: Exploring Selection Management and Brushing and Linking for Mobile Cross-Device Interaction

Diese Arbeit untersucht wie man mit mehreren, miteinander koordinierten Mobilgeräten Selektionen verwalten und Brushing und Linking unterstützen kann. Im Rahmen der Arbeit wird ein konzeptionelles Framework zur Selektionsverwaltung für mehrere Geräte angedacht und ein Konzept zur Selektionsverwaltung vorstellt, das Brushing und Linking für Mobilgeräte unterstützt. Des Weiteren werden Ziele für den Prototypen erörtert, die zur Umsetzung das Konzept beitragen. Mobile Geräte werden immer häufiger für Informationsvisualisierungen verwendet. Jedoch wurde bisher noch nicht untersucht, wie gängige Interaktionstechniken, wie Brushing und Linking, für diese Geräte anpassen werden müssen. Während des Brushings, werden zusätzlich Selektionen erstellt, für die es bislang keine Art der Verwaltung für Mobilgeräte gibt. In dieser Arbeit wird untersucht wie man Brushing und Linking mit mehreren Mobilgeräten unterstützen kann und Selektionen gleichzeitig verwalten kann.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 ConclusionThis thesis examines how to manage selections and use brushing and linking with multiple coordinated mobile devices. We discuss thoughts for a conceptual framework for selection management in multi-device environments. We then present a concept for managing selections and supporting brushing and linking for co-located mobile devices. Finally, we are providing an overview of and the goals for our proof-of-concept prototype. More and more mobile devices are used for visualization. However, it is still an open question how to adjust common interaction techniques, such as brushing and linking, for mobile devices. Furthermore, it has not been addressed how to manage the selections that are created through brushing. We explore how brushing and linking can be used in a setting with multiple, co-located mobile devices and how to manage its selections.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 Conclusio